AI 资产管理
更新时间:
AI 资源包括数据、代码和镜像,其中:
- 数据:用于训练模型,模型通过学习这些数据不断提高其能力,最终达到能够辨识这些数据的能力。
- 代码:包含模型和训练模型的代码(引导模型以某种方式学习和训练)。
- 镜像:用于训练环境的创建。 这些资源在训练和开发时都有可能被使用到,每次训练和模型优化也都会带来 AI 资产的变化,同时这些资产的来源也多种多样。为了保证用户在平台中能够更好的使用它们,平台提供了 AI 资产管理的能力,包括版本管理、来源管理、存储管理等。
# 数据管理
平台提供数据管理的能力,方便用户在训练模型时使用这些数据,包括对外部数据源的数据管理和本地数据集的管理。
# 外部数据源
平台支持使用外部数据源中的数据提交训练,成功添加外部数据源后,即可在提交训练任务时直接使用外部数据源了。当前支持接入的数据源包括:华为 OBS、AWS 的 S3、NFS。 对于外部数据源平台提供添加、删除以及其公开性的管理。
# 数据集
使用本地数据集进行训练,需将本地数据集上传至平台。平台为上传的数据集提供管理能力,包括创建、删除和对其公开性的管理。
# 模型
训练结果保存为模型并存储在平台中,支持查看、模型导出、以及作为预训练模型挂载到项目中进行再训练。
# 代码管理
代码因其不可复用性,所以与项目强关联,在项目中管理,项目删除则代码也随之删除。项目中可使用和管理如下两类代码。
- 从本地上传的代码集 算法工程师可将本地代码上传至项目中,并在项目中管理代码版本。
- 外部代码仓库中的代码
连接外部代码仓库并管理此连接,只要连接有效,则工程师可使用该外部代码仓库中的代码训练模型。

# 镜像管理
镜像用于创建开发环境、训练环境,是AI 开发的重要资产,平台为镜像提供了公开性管理、版本管理以及其他增删改查的基础管理能力。方便用户按需开发环境和训练环境。